Dimensionality Reduction Meets Network Science: Sensemaking on UMAP's kNN Graph
降维与网络科学融合:探索UMAP内部kNN图的分析潜力
🧭 降维图分析 · 内部图结构利用
Apple
用PageRank、k-core、聚类系数等图算法挖掘UMAP的kNN图,发现被2D投影掩盖的数据结构
📌 工作参考价值(4 点)
- 典型样本发现:在电商商品表征的kNN图上运行PageRank,可自动挑出“最标准”的商品图片用于训练或人工审核,也能发现边缘奇怪的异常商品(如错标、假货)。相比k-medoids,完全复用UMAP构建好的图,零额外计算。
- 密集子类挖掘:k-core分解用于商品嵌入图,能剥离长尾噪声,找出核心密集区域;在时尚数据集上成功拆出“包包”下的腰包、邮差包等微类,可迁移到商家类目自动细化或搜索词的分簇打标。
- 高相似度商品去重:聚类系数揭示某个商品近邻的连接紧密程度,直接定位高度同质化的商品群,用于同款检测、反低质铺货。
- 嵌入质量诊断:在迭代生成式推荐的语义ID或item嵌入时,不应只看2D散点图;应回溯UMAP的kNN图结构指标(k-core、聚类系数),评估原始空间是否已有塌缩或空洞,前置发现问题。